La fin du "repas gratuit"

Pendant des décennies, les développeurs ont profité du "plafond séquentiel"—une époque où Échelle de Dennard assurait que chaque nouvelle génération de puces offrait des fréquences plus élevées. Mais nous avons atteint la Mur de puissance. La performance n'est plus fonction de la fréquence ; elle est fonction de la concurrentivité. Pour progresser, nous devons employer Pensée computationnelle pour combler l'écart entre les méthodes numériques et les modèles d'exécution parallèles modernes.

Tension entre précision et performance

Transférer un problème de domaine (comme la dynamique moléculaire) depuis un hôte multicœur vers appareils CUDA va bien au-delà d'un changement de syntaxe ; il s'agit d'un changement dans décomposition du problème. Lorsque nous parallélisons, nous modifions souvent l'ordre des opérations. Étant donné que l'arithmétique en virgule flottante n'est pas associative, nous sommes confrontés à un compromis : Précision en virgule flottante contre exactitude. Un résultat parallèle peut être mathématiquement valide mais numériquement divergent de son ancêtre séquentiel.